In Piazza Antonio Costanzi si può  vedere un altro palazzo appartenente alla famiglia Torelli. Antonio Costanzi fu un umanista nato a Fano nel 1436, che ebbe un importante ruolo nella vita politica e culturale della città. Sua figlia Costanza sposò Giovanni Antonio Torelli e così le due famiglie si unirono: Lelio Torelli è il loro figlio nato nel 1489.

L'edificio rispetto all'originale è stato rialzato di un piano, la facciata realizzata da Baldini è in stile neoclassico con paraste ioniche.

All'interno vi erano decorazioni a grottesche che sono andate perdute con l'ultimo restauro.

Il palazzo era arredato da una quadreria di 45 dipinti andata smembrata agli  inizi del XIX secolo.